Success Rate: The Simplest Usability Metric成功率:最簡單的可用性指標

雖然收集可用性指標代價高昂且可能幹擾設計決策,但衡量使用者完成任務的能力是一個簡單有效的折中方法。成功率易於理解,能夠直接反映使用者體驗的核心表現。

衡量成功

定義成功率:成功率是使用者體驗中常用的簡單二元指標,用於評估使用者是否能夠完成指定任務。在研究中,成功率通常表現為:參與者成功完成任務的百分比。

特點:

重要性:無論使用者在介面中完成了多少任務,如果目標任務無法完成,其他指標便失去意義。

成功的層級

在衡量成功率時,部分成功的情形可能會帶來複雜性。例如,當使用者部分完成任務時,是否應該視為成功?以下是一種細化的層級方法:

示例任務:為母親訂購12支黃色玫瑰

完全成功:使用者按照要求完成任務,母親生日當天收到12支黃色玫瑰。

部分成功:

成功層級報告示例:

成功層級使用者數(總計100名)報告內容
完全成功2020%的參與者成功完成任務,無任何錯誤(95%置信區間:13%–29%)。
次要問題的成功3535%的參與者完成任務但存在次要問題(95%置信區間:26%–45%)。
主要問題的成功3030%的參與者完成任務但存在主要問題(95%置信區間:22%–40%)。
失敗1515%的參與者未能完成任務(95%置信區間:9%–23%)。
成功水平資料可以顯示為具有相應置信區間的單獨列。在該圖中,誤差條表示 95%的置信區間。

報告成功層級

更細化的指標:

除了分層級報告成功率,還可以統計使用者所犯錯誤的型別及頻率,例如:

避免錯誤的方法:不要對成功層級進行數值化

常見錯誤:

將成功層級分配數值(如:完全成功=1,次要問題=0.66,主要問題=0.33,失敗=0),然後計算加權平均成功率,例如:

(20×1+35×0.66+30×0.33+15×0)/100=0.53(20 \times 1 + 35 \times 0.66 + 30 \times 0.33 + 15 \times 0)/100 = 0.53

此方法得到的“成功率”53% 是錯誤的,因為這些數字僅為標籤,不能作為連續變數進行數學計算。

原因:成功層級屬於 有序變數(ordinal scale),而非間隔變數或比率變數。層級之間的距離並非均勻,因此無法直接進行數學運算。

推薦做法:

總結

成功率作為一種核心指標,為評估和改善使用者體驗提供了可靠的參考,同時也是溝通設計成果的重要工具。